Heise 04.09.2026
17:10 Uhr

Raus aus der Tokenfalle – mit VMware


Broadcom fasst sein KI-Portfolio unter VMware Private AI Cloud zusammen. Das Ziel: Modelle sollen zu den Daten kommen, nicht umgekehrt.

Raus aus der Tokenfalle – mit VMware

Broadcom hat auf der VMware Explore 2026 in Las Vegas sein KI-Portfolio unter dem Dach VMware Private AI Cloud zusammengefasst. Die Botschaft dahinter ist knapp und wurde auf der Bühne mehrfach wiederholt: Das Modell soll zu den Daten kommen, nicht die Daten zum Modell. Ram Velaga, President der Infrastructure Software Group, spricht von einem Punkt, an dem Private Cloud und privates KI-Infrastrukturgeschäft keine getrennten Disziplinen mehr sind.

Velaga, der die Sparte seit knapp neun Monaten führt, begründete das in der Keynote mit vier Beobachtungen aus Kundengesprächen. Erstens habe sich der Ton gegenüber den Cloud-Ankündigungen früherer Jahre gedreht: Für dauerhaft laufende und gut planbare Workloads sei der eigene Betrieb oft die günstigere Wahl, die Cloud bleibe für Lastspitzen und bestimmte Anwendungsfälle. Zweitens sei Hardware auf Jahre hinaus knapp und teuer, getrieben vor allem von den Speicherpreisen – was nach Broadcoms Argumentation eine möglichst hohe Auslastung vorhandener Ressourcen wichtiger und dedizierte Bare-Metal-Systeme weniger attraktiv macht. Drittens dränge das Thema Souveränität nicht mehr nur auf Länderebene, sondern auf Unternehmensebene, Metadaten eingeschlossen. Und viertens wolle niemand für KI ein weiteres Silo neben Compute, Netz und Storage aufbauen.

Die Antwort des Herstellers darauf heißt VMware AI Factory und ist laut Broadcom das softwaredefinierte Fundament der „Private AI Cloud“. Der Anspruch: Von der Auslieferung eines Servers bis zur Bereitstellung des ersten Modells sollen statt Wochen einige Stunden vergehen. Automatisiert werden dafür die Hardware-Provisionierung, die Bereitstellung des Software-Stacks und das Lifecycle-Management in einem Rutsch.

Der interessanteste Teil ist eine neue Partnerschaft mit MetalSoft. Deren Bare-Metal-Automatisierung wird in VCF integriert und erweitert dessen Betriebsabläufe bis auf die physische Schicht: Server verschiedener Hersteller lassen sich direkt aus der VCF-Managementkonsole heraus bereitstellen oder neu aufsetzen, ohne die jeweiligen herstellereigenen Werkzeuge für Hardware- und Firmware-Verwaltung. MetalSoft-CEO Lucas Roh beschreibt das als Behandlung physischer Server wie Code; Broadcom nennt eine Reduktion der Provisionierungszeit von Wochen auf Minuten. Für Häuser mit gemischten Serverparks ist das der handfesteste Teil der gesamten Ankündigung.

Darüber liegen die „Private AI Services“. GPUs werden organisationsweit gepoolt und geteilt, statt sie einzelnen Workloads fest zuzuweisen. Eine Model-Gallery dient als gemeinsame Oberfläche, über die IT und Data-Science-Teams Inferenz und RAG-Workflows über VMs, Container und GPU-Ressourcen hinweg ausrollen, samt Beobachtung von Token-Durchsatz, Latenz und Auslastung. Auf der Roadmap stehen außerdem mandantenfähiges Model-Sharing über isolierte Namespaces und ein AI-Gateway mit Prompt-Routing, Token- und Rate-Limits sowie Anwendungsautorisierung. Ebenfalls als künftige Funktionen angekündigt sind Secure AI Sandboxes für dynamisch erzeugten Agentencode und ein automatisches Model-Autoscaling.

Hardwareseitig kombiniert die AI Factory VCF mit zertifizierten VCF AI ReadyNodes von Cisco, Dell, Lenovo und Supermicro. Mit AMD arbeitet Broadcom an einer Variante mit Instinct-GPUs und dem offenen ROCm-Stack; Zero-Touch-Provisionierung soll dabei den gesamten Stack von vSphere und vSAN über Kubernetes bis zum AMD-GPU-Operator ausrollen. Auf Nvidia-Seite nannte Chief Product Officer Paul Turner die kürzlich abgeschlossene Unterstützung für B300 (Blackwell), Grace-CPUs als Tech-Preview in 9.1 und Offloading auf ConnectX-7.

Parallel hat Broadcom fünf Modelle für den Betrieb auf VMware Cloud Foundation getestet: Nvidias Nemotron 3, Googles Gemma 4, NECs cotomi, Alibabas Qwen3.8-27B und GLM 5.2 von Z.ai, dem früheren Zhipu AI. Die Auswahl ist bemerkenswert breit gestreut: Sie reicht von offenen beziehungsweise Open-Weight-Modellen von Nvidia, Google, Alibaba und Z.ai bis zu NECs proprietärem, auf Japanisch optimiertem Cotomi, hinter dem zugleich ein Hosting-Angebot in NEC-Rechenzentren steht.

Als Standard-Runtime dient vLLM, worüber sich nach Herstellerangaben mehr als 150 offene Modelle betreiben lassen; unterstützt werden GPUs und CPUs von AMD, Intel und Nvidia. Chris Wolf, bei Broadcom für KI zuständig, verkauft das als Weg zu Datensouveränität mit Modellen, die intern als Dienst bereitgestellt werden. Broadcom verweist außerdem auf veröffentlichte MLPerf-Inference-v5.1-Ergebnisse, nach denen VCF 9.0 bei mehreren KI-Workloads auf Bare-Metal-Niveau liegt – ein Punkt, der für die Grundsatzfrage Virtualisierung versus Blech beim KI-Betrieb wichtiger ist als jede Feature-Liste.

Wie sich das bedienen lässt, führte Sabina Anja, Chief Technologist der VCF-Division, an einem fiktiven Versicherer vor. Ein neues Modell wird per Hugging-Face-Link importiert, landet in einer eigenen OCI-Registry, wird dort versioniert und gescannt wie jedes Container-Image und anschließend auf einem VKS-Cluster (vSphere Kubernetes Services) mit bereits bereitgestellten GPUs platziert. Die Anwendungen sprechen dabei nie ein Modell an, sondern eine Model-Route – eine dauerhafte URL, hinter der sich das Modell im laufenden Betrieb austauschen lässt, mit Failover oder Traffic-Splitting. Guardrails greifen an dieser Route: PII-Maskierung, Blockieren von Jailbreak-Versuchen, Filtern interner Informationen auf dem Rückweg. Eine zwei Jahre alte Anwendung bekommt damit dieselbe Durchsetzung wie eine neue. Dazu kommen Budgets und Rate-Limits pro Fachbereich.

Beim Thema Kosten zielt Broadcom auf drei Treiber: Hardware-CapEx, Betriebskomplexität und Tokenökonomie. Auf der Hardwareseite arbeitet VCF 9 mit Memory Tiering über NVMe und clusterweiter Storage-Deduplizierung. Turner nannte für eine hälftige Aufteilung zwischen DRAM und NVMe eine Reduktion der Hardwarekosten um bis zu 42 Prozent. Für VCF 9.1, im Mai 2026 erschienen, stellte Broadcom auf Keynote-Folien weitere Einspar- und Risikowerte heraus, darunter 39 Prozent geringere Serverkosten und 40 Prozent Risikoreduktion. Das sind Herstellerangaben und keine nachgerechneten Werte. Als Verbreitung nennt Broadcom mehr als 2000 Kunden mit über 19 Millionen Cores auf VCF 9.

Der zentrale Kern dieses Teils der Keynote war die Absage an die Abrechnung nach Token. Turners Argument: Wer eine private Cloud betreibt, kauft GPUs und verbraucht so viele Token, wie die Infrastruktur hergibt – planbar statt nutzungsabhängig. Dazu kommt der Hinweis, dass längst nicht jede Anwendung ein Frontier-Modell mit hunderten Milliarden Parametern brauche. Für einen Chatbot genüge oft ein deutlich kleineres Modell, teils sogar auf CPUs betrieben statt auf GPUs.

Als Beleg dient Broadcoms eigener Private Cloud Outlook 2026, laut dem 56 Prozent der Unternehmen produktive KI-Inferenz auf privater Cloud betreiben oder das planen. In der Keynote wurde die Zahl auf eine anonyme Befragung von 1800 Fachleuten zurückgeführt, mit einem Rückgang der Präferenz für die Public Cloud um 15 Punkte auf 41 Prozent. Dass ein Anbieter von On-Premises-Infrastruktur eine Verschiebung zugunsten von On-Premises-Infrastruktur misst, ist natürlich wenig überraschend.

Der zweite Strang der Keynote war KI nicht als Workload, sondern als Betriebswerkzeug. Der „VCF AI Assistant“ ist in VCF 9 angelegt und wurde mit Version 9.1.1 ausgeliefert, die seit dem 3. September zum Download bereitsteht. In der Demo zeigte er eine VMSA-Sicherheitswarnung über 485 betroffene Hosts in 17 Clustern und vier vCenter-Instanzen, prüfte die Live-Patch-Fähigkeit, führte den Precheck aus und remediierte den Cluster – inklusive des Hinweises, welche Hosts stattdessen in den Wartungsmodus gehen.

Anschaulicher war der zweite Teil: Eine Anwendung lief schlecht, die Analyse förderte eine seit Tagen steigende CPU-Last zutage und als Ursache, dass DRS an einem bestimmten Tag bei Wartungsarbeiten auf manuell gestellt und nie zurückgesetzt worden war. Der Assistent aktivierte DRS wieder und legte anschließend eine Konfigurationsregel an, die künftig alarmiert, wenn DRS länger als eine Stunde abgeschaltet bleibt. Das ist kein spektakulärer KI-Einsatz, trifft aber genau die Klasse von Fehlern, die im Betrieb tatsächlich weh tut.

Die Private AI Cloud ist zunächst ein Dach über weitgehend bekannten Teilen: VCF 9 mit seiner Speicher- und Sicherheitsarchitektur, die über Jahre aufgebaute Kubernetes-Integration sowie Tanzu und die Sicherheitsprodukte. Wirklich neu sind die AI Factory mit der MetalSoft-Anbindung, die getesteten Modelle und das Model-as-a-Service-Konstrukt. Ein guter Teil dessen, was in Las Vegas gezeigt wurde, steht in den Mitteilungen im Futur oder ist für spätere Releases angekündigt – wer plant, sollte pro Funktion nachfragen, ob sie tatsächlich ausgeliefert ist.

Das Token-Argument ist dabei eher eine Verschiebung als eine Abschaffung von Kosten. Wer Modelle selbst betreibt, zahlt nicht pro Token, sondern für GPUs, Strom, Fläche, Personal und VCF-Lizenzen – und trägt das Auslastungsrisiko selbst. Für Unternehmen mit gleichmäßiger, gut planbarer Inferenzlast kann die Rechnung aufgehen, für stark schwankende Lasten weniger. Dass ausgerechnet Broadcom Kostenvorhersagbarkeit zum Verkaufsargument macht, dürften Kunden, die die Lizenzumstellung der vergangenen Jahre hinter sich haben, mit gemischten Gefühlen hören.

Die Keynote steht als Aufzeichnung online zur Verfügung. Am 13. und 14. Oktober veranstaltet der Hersteller in Frankfurt eine verkürzte deutsche Version der VMware Explore.

(fo)